BACKGROUND: the published data on the effectiveness of programs in schools to prevent addiction to tobacco are not consistent. These programs have not been sufficiently studied, and their variables give rise to confusion. The aim of this study was to evaluate the process of educational action taken in schools. METHOD: student leaders and teachers, who were trained and given guides, developed a socially based program. Two students selected at random from each class were interviewed, using a validated and directed questionnaire. A total of 318 children were interviewed. The Kappa Index was used to measure confidence, and the Inter-Class Coefficient of Correlation and Pearson’s Coefficient were used together with analysis of individual differences to compare the data for program adjustment, as supplied by pupils and teachers. RESULTS: mean adjustment per class was 30.07 points (48 = 100% adjustment). 26% of children were unable to mention any alternative to the advantages of smoking, 71.7% were unaware of the frequency of consumption amongst adults and 19.5% were unable to mention any of the tricks used in cigarette advertising. Less than half had performed psychodrama on this subject, as was required. The ICC was 0.21, Pearson’s Coefficient was 0.25 (p = 0.02) and the interval of agreement between the descriptions of teachers and students was 6.93 points (-1.70 to 5.23). CONCLUSIONS: the degree to which implementation complied with the proposed model of program was insufficient. We found little agreement between the self-assessment of teachers and the score attained by pupils in compliance with the program. It is essential that this process be evaluated for its impact to be evaluated correctly.

FUNDAMENTO: Los datos publicados sobre eficacia de programas escolares para la prevención del tabaquismo son inconsistentes. No está suficientemente estudiado el proveedor de tales programas como variable de confusión. El objetivo de este estudio fue evaluar el proceso de una intervención educativa intraescolar. MÉTODO: Líderes estudiantiles y profesores, entrenados y con guías, desarrollaron un programa de base social. Se encuestó aleatoriamente a 2 alumnos por cada aula, mediante cuestionario validado y pilotado: 318 niños. Se utilizó el Indice Kappa para medir la fiabilidad, y el Coeficiente de Correlación Intraclase, el de Pearson y el análisis de las diferencias individuales para comparar los datos de ajuste al programa, proporcionados por alumnos y profesores. RESULTADOS: La media de ajuste por aula fue 30,07 puntos (48 =100% de ajuste). El 26% de los niños no pudo citar una alternativa a las ventajas de fumar, 71,7% desconocía la frecuencia de consumo en adultos y 19,5% no pudo evocar ningún truco propio de la publicidad del tabaco. Menos de la mitad realizó un sociodrama sobre el tema, como era preceptivo. El CCI fue 0,21, Pearson 0,25 (p = 0,02) y el intervalo de concordancia entre las calificaciones de profesores y alumnos fue de 6,93 puntos (-1,70 a 5,23). CONCLUSIONES: El ajuste de la implementación al modelo de programa propuesto fue insuficiente. Encontramos escasa correspondencia entre la autocalificación del profesorado y la puntuación alcanzada por los alumnos en el ajuste al programa. La evaluación del proceso es esencial para interpretar correctamente la evaluación del impacto.

BACKGROUND: the published data on the effectiveness of programs in schools to prevent addiction to tobacco are not consistent. These programs have not been sufficiently studied, and their variables give rise to confusion. The aim of this study was to evaluate the process of educational action taken in schools. METHOD: student leaders and teachers, who were trained and given guides, developed a socially based program. Two students selected at random from each class were interviewed, using a validated and directed questionnaire. A total of 318 children were interviewed. The Kappa Index was used to measure confidence, and the Inter-Class Coefficient of Correlation and Pearson’s Coefficient were used together with analysis of individual differences to compare the data for program adjustment, as supplied by pupils and teachers. RESULTS: mean adjustment per class was 30.07 points (48 = 100% adjustment). 26% of children were unable to mention any alternative to the advantages of smoking, 71.7% were unaware of the frequency of consumption amongst adults and 19.5% were unable to mention any of the tricks used in cigarette advertising. Less than half had performed psychodrama on this subject, as was required. The ICC was 0.21, Pearson’s Coefficient was 0.25 (p = 0.02) and the interval of agreement between the descriptions of teachers and students was 6.93 points (-1.70 to 5.23). CONCLUSIONS: the degree to which implementation complied with the proposed model of program was insufficient. We found little agreement between the self-assessment of teachers and the score attained by pupils in compliance with the program. It is essential that this process be evaluated for its impact to be evaluated correctly.

FUNDAMENTO: Los datos publicados sobre eficacia de programas escolares para la prevención del tabaquismo son inconsistentes. No está suficientemente estudiado el proveedor de tales programas como variable de confusión. El objetivo de este estudio fue evaluar el proceso de una intervención educativa intraescolar. MÉTODO: Líderes estudiantiles y profesores, entrenados y con guías, desarrollaron un programa de base social. Se encuestó aleatoriamente a 2 alumnos por cada aula, mediante cuestionario validado y pilotado: 318 niños. Se utilizó el Indice Kappa para medir la fiabilidad, y el Coeficiente de Correlación Intraclase, el de Pearson y el análisis de las diferencias individuales para comparar los datos de ajuste al programa, proporcionados por alumnos y profesores. RESULTADOS: La media de ajuste por aula fue 30,07 puntos (48 =100% de ajuste). El 26% de los niños no pudo citar una alternativa a las ventajas de fumar, 71,7% desconocía la frecuencia de consumo en adultos y 19,5% no pudo evocar ningún truco propio de la publicidad del tabaco. Menos de la mitad realizó un sociodrama sobre el tema, como era preceptivo. El CCI fue 0,21, Pearson 0,25 (p = 0,02) y el intervalo de concordancia entre las calificaciones de profesores y alumnos fue de 6,93 puntos (-1,70 a 5,23). CONCLUSIONES: El ajuste de la implementación al modelo de programa propuesto fue insuficiente. Encontramos escasa correspondencia entre la autocalificación del profesorado y la puntuación alcanzada por los alumnos en el ajuste al programa. La evaluación del proceso es esencial para interpretar correctamente la evaluación del impacto.